Entropie (Inligtingsteorie)

Inligtingsteorie
Entropie Differensiële entropie Voorwaardelike entropie Gesamentlike entropie Wedersydse inligting Voorwaardelike wedersydse inligting Relatiewe entropie Entropie koers Beperking van digtheid van diskrete punte
Asimptotiese ekwipartisie-eienskap Tempo-vervorming teorie
Shannon se bronkoderingstelling Kanaal kapasiteit Ruiserige-kanaal kodering stelling Shannon–Hartley stelling
l b w

In Inligtingsteorie, is die entropie van 'n ewekansige veranderlike die gemiddelde vlak van "inligting", "verrassing" of "onsekerheid" ingebore aan die veranderlike se moontlike uitkomste. Gegewe 'n diskrete ewekansige veranderlike ${\displaystyle X}$, met moontlike uitkomste ${\displaystyle x_{1},...,x_{n}}$, wat met waarskynlikheid ${\displaystyle \mathrm {P} (x_{1}),...,\mathrm {P} (x_{n}),}$ plaasvind, die entropie van ${\displaystyle X}$ word formeel gedefinieer as:

${\displaystyle \mathrm {H} (X)=-\sum _{i=1}^{n}{\mathrm {P} (x_{i})\log \mathrm {P} (x_{i})}}$

waar ${\displaystyle \Sigma }$ dui die som bo die veranderlike se moontlike waardes aan. Die keuse van basis vir ${\displaystyle \log }$, die logaritme, verskil vir verskillende toepassings. Basis 2 gee die eenheid van bis (of "shannons"), terwyl basis e gee "natuurlike eenhede" nat, en basis 10 gee eenhede van "dits", "bans", of "hartleys". 'n Ekwivalente definisie van entropie is die verwagte waarde van die selfinligting van 'n veranderlike.^[1]

Die konsep van inligtingsentropie is deur Claude Shannon bekendgestel in sy 1948-artikel "A Mathematical Theory of Communication",^[2][3] en word ook na verwys as Shannon-entropie.

1. ↑ Verwysingfout: Invalid <ref> tag; no text was provided for refs named pathriaBook
2. ↑ Verwysingfout: Invalid <ref> tag; no text was provided for refs named shannonPaper1
3. ↑ Verwysingfout: Invalid <ref> tag; no text was provided for refs named shannonPaper2